Bild: KI Midjourney | Fotos + Bearbeitung: c’t

KI-Chatbots in der Falle

Wie c’t-Leser ChatGPT und Bard hereinlegen

In c’t 16/2023 fragten wir nach Ideen, wie man Sprachmodelle im Chat sicher von Personen unterscheiden kann. Dutzende Leser zeigten sich kreativ: In ihren Zuschriften schilderten sie raffinierte Fragen, die ChatGPT und Bard als humorlose Sprachgeneratoren ohne Vorstellung von der Realität entlarven.

Von Arne Grävemeyer

Eine düstere Zukunftsvision, 1982 verfilmt von Regisseur Ridley Scott, begleitet einen „Blade Runner“ bei seiner Aufgabe, hochmoderne Androiden zu fangen und zu eliminieren. Um deren künstliche Intelligenz als nicht-menschlich zu überführen, benötigt er über 100 Fragen. So gut wie jene „Replikanten“ verstellen sich ChatGPT und Bard noch nicht. Im Beitrag „Chatbots reinlegen“ [1] zeigte c’t bereits, wo Grenzen der bekanntesten KI-Sprachgeneratoren liegen. Viele Leser hatten weitere Ideen, wie man die heute frei verfügbaren Modelle sehr schnell ins Straucheln bringt.

Wissenschaftler aus dem Google-Konzern verwenden den sogenannten BIG-bench (Beyond the Imitation Game benchmark), um einen Score für die Leistungsfähigkeit von Large Language Models zu ermitteln [2]. Seit dem Frühjahr ist der BIG-bench auf 214 Aufgaben angewachsen und deckt ganz unterschiedliche Ebenen ab: Mathematik und Logik, Rätsel, Anspielungen und Humor sowie die Fähigkeit, Fakten zu checken oder Anachronismen zu entlarven. Eine der Königsdisziplinen darin ist das Spiel „20 Fragen“. Ein Spieler denkt sich ein Wort aus und der andere tastet sich fragend heran, wobei sich die Antworten möglichst auf Ja und Nein beschränken. Können Bard und ChatGPT das auch?

Mittlerweile nutzt ChatGPT per Voreinstellung die Engine GPT-3.5 und spielt routiniert mit. Das von uns gewählte Wort „Eiche“ erriet der Chatbot bereits mit der 13. Frage, für den „Leuchtturm“ brauchte er genau 20 Fragen. Bard ermittelte die Eiche mit der 17. Frage, weil er vorher mehr andere Laubbäume durchprobierte als ChatGPT. Als Nächstes erriet er immerhin „Turm“, ohne sich weiter zum „Leuchtturm“ durchzufragen. Aber die Leistung ist nicht schlecht. Entlarven kann man die beiden Chatbots aber trotzdem, wenn man nur fragt, wie viele Rateversuche sie nun gebraucht haben. Die Antwort darauf scheint generell geschätzt oder geraten zu sein, auf jeden Fall nicht nachgezählt. Sie stimmt fast nie.

Zählen können Chatbots einfach nicht, auch nicht, wenn es um die Anzahl der von ihnen selbst gestellten Fragen geht. Stattdessen schätzt Bard oder denkt sich einfach eine Zahl aus.

Allerdings funktioniert das Spiel auch in der umgekehrten Richtung: Bard und auch ChatGPT sind bereit, sich ein Wort auszudenken und dazu artig mit „Ja“ und „Nein“ Fragen zu beantworten. Bard entschied sich im Test auf Deutsch beispielsweise für eine Narzisse, ChatGPT für ein Reh. Fragen zu ihren geheimen Wörtern korrekt zu beantworten schien für die Sprachmodelle kein Problem zu sein. So errieten wir in acht Schritten die Narzisse (Lebewesen? – ja; Tier? – nein; Pflanze? – ja; Baum? – nein; Blume? – ja; in Mitteleuropa? – ja; Frühblüher? – ja; Osterglocke oder Narzisse? – ja) und sogar mit nur sieben Fragen das Reh (Lebewesen? – ja; Pflanze? – nein; Tier? – ja; Säugetier? – ja; in Mitteleuropa? – ja; im Wald? – ja, oft im Wald; ein Reh? – ja).